Fragebogen
Ist eine Datenerhebungstechnik der qualitativen Sozialforschung zur Erfassung von Meinungen / Merkmalen / Fähigkeiten für einen Untersuchungsgegenstand. Zur Erstellung eines Fragebogen gibt es viele zu beachtene Faktoren, um am Ende valide statistische Ergebisse zu erhalten. 'Aufbau / Anordnung der Fragen' 'typischer Verlauf' Zur Erstellung eines Fragebogens kann man einen Verlauf definieren, der in den meisten Fällen angewand werden kann. Einige Schritte können dabei verschoben und / oder ausgelassen werden. #Theoretische Vorarbeit #Entscheidung über Form des Fragebogens #Auswahl der Items #Itemanalyse #Reliabilitätsbestimmung #Validitätsbestimmung 'Anordnung' Folgend die Regeln zur Anordnung der erstellten Items : *bei unterschiedlichen Schwierigkeitsgrad leicht an den Anfang, schwer am Ende *sehr persönliche Frage eher am Ende *Sind die Fragen voneinander unabhängig (siehe Positions- und Reihenfolgeeffekte )? *Lösung von Item A darf Wahrscheinlichkeit von Item B nicht verändern (siehe Positions- und Reihenfolgeeffekte ) *demografische Daten am Anfang oder Ende (oft am Ende, werden dann aber häufig ausgelassen) *auf notwendige Auskünfte beschränken (ansonsten immer begründen) 'Position- und Reihenfolgeeffekte' Man muss auf die Schwierigkeitsschwankung innerhalb des Testablaufs achten, da diese besonders am Fragebogenanfang (Unsicherheiten) oder -ende (Ermüdungserscheinungen) auftreten. Der Reihenfolgeeffekt tritt auf, wenn sich durch zuvor beantwortete Items ein Übungseffekt eintritt, und die Ergebnisse beeinflusst. :::: Gegenmaßnahmen: *zufällige Itemanordnung *Scheinitems als Puffer einstreuen, um die Beeinflussung der folgenden Items zu durchbrechen oder messende Eigenschaften zu verschleiern *Kontrollitems eintreuen *sensible Items (beeinflussbare) an den Anfang *reaktive Items (solche, die spätere Items beeinflussen können) ans Ende 'Validitäts-Kontrollskalen' 'MMPI-2 ''(Minnesota Multiphasic Personality Inventory) Entwickelt von Hathawy & McKinley 1951. Misst gleichzeitig mehrere Faktoren: *ob der Proband den Fragebogen verstanden und sorgfältig ausgefüllt hat (F-Skala) *Tendenz zur sozialen Erwünschheit (Lügen-Wert; L-Skala) *Tendenz Probleme / Sympthome zu leugnen (K-Skala) *ausgelassene oder doppelt markierte Items (?-Wert) *Mist u.a. Hypochondrie, Depression, Hysterie, Schizophrenie, Paranoia uvm. Kritik: *567 Item stark (Auswahlentscheidungen oft problematisch) *Skalenkonstruktion (einige haben niedrige Konsistenz) *keine Validierungsstudien *ungeeignet für Individualdiagnostik '''Itemkonstruktion / -auswahl 'Item' Ein Item ist die kleine Beobachtungseinheit die mittels eines Fragebogen s erfasst werden soll. Es wird hierbei nur ein Antwortverhalten erfragt. Es wird dabei in Itemstamm und Antwortformat untergliedert.thumb 'Itemstamm' Ist der Erläuterungsteil (auch: Instruktion) eines Gesamtitems zur Erklärung der Frage, der Fragerichtung etc.. Man kann in der Formulierung die direkte oder indirekte Ansprache wählen, um mögliche Verbundenheit / Distanz zu erzeugen. Dabei ist fest zu stellen, das Indikatoren der indirekten Sprache oft eindeutiger aufgefasst werden, als die direkte Anrede. Diese sind aber manchmal schwer zu finden. Zusätzlich muss auf die Formulierung des Sachverhaltes geachtet werden. Der Hypothetische ("Was würden Sie tun...?") ist anfälliger gegenüber Fehleinschätzungen und sozialer Erwünschtheit. Der tatsächliche Sachverhalt ist besser geeignet ("Haben Sie schon einmal ... getan?"), setzt aber voraus, dass die Situation schon einmal erlebt wurde. Außerdem muss man sich zwischen einer abstrakten / konkreten Formulierung des Sachverhalts entscheiden. Der Konkrete ist dabei von situationalen Faktoren abhängig, während der abstrakte die Gefahr der Fehleinschätzung beinhaltet. *Beispiel: "Sammeln Sie Briefmarken?" vs. "Sammel Sie gerne irgendwelche Sachen?" 'Arten von Items' 'dichotome' Aufgaben mit genau zwei Antwortalternativen nennt man dichotome Aufgaben / Items. *Beispiel: "Sind Sie im Freibad schon einmal von einem Sprungturm höher als 3m gesprungen?" Ja oder Nein *Nateile: Ratewahrscheinlichkeit 50 %, nur Wiedererkennen nötig, hohe Zustimmungstendenz bei eintsellungs- oder persönlichkeitsbezogenen Fragen 'Filterfragen' Dienen zur Bestimmung, ob Probanden einen bestimmten Fragenkomplex überhaupt bearbeiten muss bzw. ob er überhaupt für die Studie relevant ist. *Beispiel: "Haben Sie Kinder?" Wenn nein gehen Sie weiter zu Frage'' XYZ'' 'Arten von Antwortformaten' 'freie Antwortformate' Antworten werden von der befragten Person selbst generiert. Es wird genutzt zur Erfassung spontaner Antworten, kreativer Leistung, zur Ermittlung von Haufigkeitsangaben und für Assoziationsaufgaben. *Vorteile: Erraten von Antworten wird vorgebeugt, Befragte können persönliche Einschätzung abgeben *Nachteile: Auswertung meist sehr aufwändig Es sind grundsätzlich drei Ausprägungen zu unterscheiden, 1. ohne formale Vorgabe 2. mit formaler Vorgabe 3. Lückentext . '1. ohne formale Vorgabe' Eine Ausprägung der freien Antwortformate. Der Proband erhält ein weißes Blatt Papier ohne Instruktionen / Informationen. Damit wird die persönliche Einschätzung des Probanden gefördert. '2. mit formaler Vorgabe' Eine Ausprägung der freien Antwortformate. Der Proband erhält Instruktion oder Informationen, um daraufhin seine persönliche Einschätzung zu geben. Aufgrund der Vorgaben wird dies auch als halboffene Antwortformate bezeichnet. *Beispiel: " Nennen Sie drei Eigenschaften von Vögeln." oder siehe Bildthumb '3. Lückentext' Eine Ausprägung der freien Antwortformate. Der Proband erhält vorgefertigte Instruktionen und Antwortteile und muss diese ergänzen. Die freie persönliche Einschätzung ist dabei eingeschränkt, trägt aber zum Erhalt der gewünschten Ergebnisse bei. Aufgrund der Vorgaben wird dies auch als halboffene Antwortformate bezeichnet. *Beispiel: unvollständiges Bild ergänzen, Leerstellen ausfüllen, Geschichten weitererzählen etc. oder siehe Bildthumb 'halboffene Antwortformate' Freie Antwortformate mit formaler Vorgabe und Lückentexte werden auch als halboffene Antwortformate bezeichnet. *Vorteil: Definition korrekter Antworten möglich, Antworten lassen sich leichter auswerten *Nachteil: freie Produktion von Antworten wird behindert, Auswertung trotzdem nicht immer leicht *Beispiel: siehe Bildthumb 'Ergänzungsaufgaben' Diese benötigen freie Reprodunktion und nicht nur Wiedererkennung von Antworten. Dabei ist die Wahrscheinlichkeit der rein zufällig korrekten Antworten gering. Allerdings ist hier die Auswertung problematisch, da auch ähnliche Antworten potentiell korrekt wären. *Beispiel: siehe Bildthumb 'gebundene Antwortformate' Diese Formate haben eine / mehrere vorgeschriebene Möglichkeiten. Sie können in zwei Gruppen untergliedert werden, 1. Ordnungsaufgaben 2. Auswahlaufgaben, wobei diese wiederrum auch zwei Ausprägungen haben, a) disjunkt und b) exhaustiv / Multiple Choice . '1. Ordnungsaufgaben' Umfasst sämtliche Zuordnuns- und Umordnungsaufgaben, wie " Ordnen Sie dem Land die richtige Hauptstadt zu." oder "Ordnen Sie diese Bilder so, dass sie eine logische Reihe ergeben." '2. Auswahlaufgaben' Hier muss aus mehreren Antwortalternativen die zutreffende angegeben werden. *Beispiel: siehe Bildthumb 'a) disjunkt' Sind die Antwortmöglichkeiten, die sich einander ausschließen. Kann genutzt werden um ggf. ein Antwortverhalten zu erzwingen (auch: "forced choice"). *Beispiel: siehe Bildthumb 'b) exhaustiv / Multiple Choice' Sind Antwortmöglichkeiten die alle / mehrere / eine / keine richtig sind, sich aber nicht gegenseitig ausschließen. Um die Ratewahrscheinlichkeit der Möglichkeiten zu vermindern werden Distraktoren genutzt. Diese sollen die Identifikation der korrekten Antworten erschweren. Um dies zu erreichen müssen sie eine hohe Plausibilität (Ähnlichkeit) aufweisen, denn je höher diese ist desto schwerer wird es die korrekte Antwort zu erraten. Zusätzlich lässt sich die Schwierigkeit durch eine zeitliche Begrenzung und durch das Zulassen mehrer korrekter Antwortalternativen beeinflussen. *Beispeil: ::::: 1 korrekt aus 5 = 20 % Ratewahrscheinlichkeit ::::: 2 korrekt aus 5 = 10 % Ratewahrscheinlichkeit ::::: beliebig viele aus 5 (auch: "pcik any out of n") = 1/32 'Ratingformate' Sind Beurteilungsaufgaben, bei denen individuelle Einschätzungsurteile abgegeben werden. Es müssen mindestens zweifach gestufte Antwortkategorien (mit Rangordnung) eingesetzt werden, wobei die Bennung der Kategorien meist für mehrere / alle items gilt. Der Proband wählt dabei die für ihn treffende Ausprägung, hierbei gibt es kein richtig oder flasch. Dies ist das meist genutzte Antwortformat in Fragebögen. *Vorteil: Auswertung relativ einfach, Ergebnisse liefern mehr Ausprägungsalternativen ( = informationsreicher) Skalenausprägung In der Praxis bewährten sich Ausprägungen der Größe 4-9 Stufen (Hussy, Schreier & Echterhoff, 2010) sowie 5-9 Stufen (Porst, 2008). Die am häufigsten genutzte ist eine 5-stufige Skala. *Beispiel: siehe Bildthumb Alternative wäre eine Analogskala ohne konkrete Stufen, so dass der Proband seine eigene Ausprägung wählen kann. Besonders gut bei Onlineerhebungen einsetzbar. Unipolar vs. Bipolar Entscheidung, ob ein gesuchtes Merkmal einen natürlichen Gegenpol besitzt oder nicht, ergibt die Skalenausprägung. Bei einem natürlichen Nullpunkt nutzt man (meistens) unipolare Skalen. *Beispiel: siehe Bildthumb mittlere & weiß nicht Kategorie Grundsätzlich sollte eine mittlere Kategorie vermieden werden. Die Probanden haben sonst die Möglichkeit einer Ausweichoption, damit sie sich nicht festlegen müssen. Zur Verminderung dieses Problems kann eine "weiß nicht" Kategorie eingeführt werden. Diese kann dann von den Probanden genutzt werden, sollten sie keine ausgeprägte Meinung haben, Antwort nicht verstehen oder nicht wissen. Bennung der Skalenpunkte Die Bennung kann in verschiedenen Ausprägungen durchgeführt werden und haben jeweils unterschiedliche Einflüsse auf den Probanden. Verbale Bennung schafft intersubjektive Einheitlichkeit, Häufigkeitsangaben bieten intersubjektiv definierten Maßstab als Beurteilungsskala an. Außerdem sind noch Bewertungen und Intensitätsangaben möglich. Zur Kombination der Vorteile sollte man verbale Bennung und Zahlen gemeinsam nutzen. Wenn subjektive Bewertung vermieden werden soll, bieten sich optische und Symbolskalen an. 'sprachliche Verständlichkeit / Eindeutigkeit der Items' 'Sprache' Folgende Regeln sollten beachtet werden: *Items sollten positiv formuliert werden, ohne doppelte Verneinung *keine komplizierten Satzkonstruktionen verwenden *umständliche Fragen und Abkürzungen vermeiden 'Eindeutigkeit' Folgende Regeln sollten bei der Formulierung von Items beachtet werden: *intersubjektiv gemeinsame Verständnisbasis *Universalausdrücke wie "immer", "alle", "nie" vermeiden *nötige Definitionen und Erläuterungen VOR der Frage stellen *es darf keine Möglichkeit geben, den Inhalt in unterschiedlicher Weise zu interpretieren *nur eine Aussage pro Item *Antwort darf nicht vom Vorwissen abhängig sei (Ausnahme: das ist der Untersuchungsgegenstand) *Zeitpunkte / Zeitspanne müssen eindeutig definiert sein 'Instruktion' Folgende Regeln gelten für die Instruktionserstellung für Items : *klare Handlungsanweisungen *Beispielitem zum Vorstellen des Antwortmodus *Aufforderung spontan zu antworten und keine Aufgabe auszulassen integrieren *Hinweis auf Anonymität (ggf. Codierung) *ggf. Informationen zum Institut bzw. dem Zweck der Untersuchung *einfach formulieren, nicht ausschweifend 'Itemanalyse' 'Itemschwierigkeit' Ist der Prozentsatz aller untersuchten Probanden, die das Item gelöst bzw. positiv bewertet haben. Angestrebt wird eine breite Streuung, damit verschiede Merkmalsausprägungen repräsentiert sind. 'Trennschärfe' Gibt an, wie gut der Gesamtscore des Fragebogens aufgrund der Beantwortung eines einzelnen Items vorhersagbar ist. Der Score sollte eine möglichst hohes Ergebnis aufweisen. 'Varianz im Antwortverhalten' Die Unterschiede in den Ausprägungen eines interessierten Merkmals von verschiedenen Personen ist die Varianz. Die Items müssen Varianz im Antwortverhalten erzeugen, dann "messen sie was sie messen sollen". 'Potentielle Probleme bei der Fragebogenerstellung' 'Verzerrung - Bias' Der Proband hat auf dem interessierenden Merkmal eine wahre Ausprägung, wenn wir diese exakt messen, ist unser Instrument 100% valide. Systematische Fehler verzerren das Ergebnis (Bias). 'Selbstdarstellung' Dies tritt auf, wenn der Proband über den Fragebogen mit dem Versuchsleiter kommuniziert und seine eigene Persönlichkeit präsentiert. Hierbei können drei Ausprägungen auftreten: #Selbsttäuschung #Fremdtäuschung (Beispiel studentische Feministengruppe) #Zukunftsorientiert als Entwicklungschance (Proband strebt an so zu sein und entwickelt sich in diese Richtung) 'soziale Erwünschtheit' Ist eine Sondernform der Selbstdarstellung und beschreibt konformes Handeln des Probanden aus Furcht vor sozialer Verurteilung. Diese Furcht bezieht sich auf verbreitete, kulturspezifische Normen und Erwartungen. *Problemlösung: Fragebogen zweimal präsentieren und den Probanden dabei einmal auffordern des Fragebogen so auszufüllen, dass ein maximal positiver Effekt entsteht. Ergibt sich daraus eine große Dskrepanz, bedeutet das eine hohe Anfälligkeit ("faking good instruction" Methode). Hat dies keine sichere Aussage, muss eine andere Operationalisierung gewählt werden. 'Antworttendenzen (Response-Sets)' Dieses Problem beschreibt stereotypisches Antwortverhalten auf Items unabhängig vom Inhalt. Fünf bekannte Formen: *Ja-sage-Tendenz *Nein-sage-Tendenz *Tendenz-zur-Mitte *Überspringen von Items *Streichen / Ergänzen von Antwortalternativen Kontrollstrategien: *keine neurtrale Mittelkategorie, eventuell "weiß nicht" Kategorie anbieten *Items intervenieren (in positiv und negativer Form anbieten) 'Fehler beim Urteilen' 'Halo-Effekt' Ein sogenannter Ausstrahlungeffekt. Der Urteiler hat die Tendenz mehrere Merkmale eines Objekts von einem globalen Pauschalurteil abhängig zu machen ("Vorurteil"). Tritt besonders auf, wenn das Merkmal nur schwer zu beobachten, differenzieren oder in kurzer Zeit zu fällen ist. *Gegenmaßnahmen: Urteilerschulungen, Mitwirken der Urteiler an der Konstruktion der Skala 'Milde-Härte-Fehler' Die Urteiler werten systematisch zu positiv oder zu negativ. *Gegenmaßnahmen: Kalibrierung der Urteiler (Schulungen) 'Rater-Rate-Interaction' Fehler in Abhängigkeit von der Position des Raters. 'Primacy-Recency-Effekt' Dieser Effekt tritt auf, wenn Objekte mit extremer Merkmalsausprägung zu Beginn beurteilt werden, dann strahlen diese nämlich auf folgende Mermale aus. *Gegenmaßnahmen: Urteilsreihenfolge randomisieren 'Pretest' 'Vorläufige Testversion' Ist eine fast identische Version des Hauptest oder dient zur Ermittlung von Teildisziplinen des Hauttests (z.B. Auswahl richtiger Filmsequenzen). Die Probanden müssen hier aber schon gemäß der Zielgruppe angewandt werden (problematisch bei etxrem kleinen Zielgruppen). Dient zur Klärung folgender Fragen: *Gibt es Verständnisschwierigkeiten? (verstehen und Interpretation) *Habe ich das geeignete Antwortformat gewählt? *gibt es technische Probleme? 'Kognitive Interviews' Techniken des kognitiven Interviews: *Probing (Nachfragetechnik) *Confidence Ratings (Bewertung der Verlässlichkeit der Antworten) *Paraphrasing *Card Sorting (Sortiertechnik) *Think aloud (Technik des lauten Denkens) 'Sonderform Inhaltsanalyse' Dient der quantitativen Analyse von Texten aller Art (oder Rundfunk- / Fernsehsendungen, Filme, Chats etc.). Ist ein non-reaktives Beobachtungsverfahren. '''Formen: *Freqenzanalyse (Textelemente klassifizieren und Häufigkeit zählen) *Valenzanalyse (Angabe von Bewertungen von interessierenden Inhalten) *Intensitätsanalyse (erfasst zusatzlich die Intensität der Bewertung) *Kontingenzanalyse (Auftreten sprachlicher Elemente im Zusammenhang mit Begriffen) Online-Surveys '''Sonderform des Fragebogens, basierend auf Webtools zur Erstellung, Verbreitung und Auswertung. Heutzutage sehr beliebtes Mittel in der Wissenschaft. *Beispeile: ::::: SURVEY - Umfragedienst für sächsische Hochschulen ::::: LimeSurvey - Hauptseite ::::: Testmaker - Entwickelt an der RWTH Aachen